神经网络的鲁棒性和异常检测能力是其在现实世界中安全采用的关键主题。此外，最近网络的过度参数伴随着高计算成本，并提出了有关其对稳健性和异常检测的影响的疑问。在这项工作中，我们表明稀疏性可以使网络更强大，更好的异常检测器。为了进一步激励这一点，我们表明，预先训练的神经网络包含在其参数空间内，稀疏的子网络在没有任何进一步培训的情况下在这些任务上更好。我们还表明，结构化的稀疏性极大地有助于降低昂贵的鲁棒性和检测方法的复杂性，同时维持甚至改善其在这些任务上的结果。最后，我们引入了一种新方法Sensnorm，该方法使用从适当的修剪方法得出的权重的灵敏度来检测输入中的异常样品。
translated by 谷歌翻译
修剪是稀疏深神经网络的任务，最近受到了越来越多的关注。尽管最先进的修剪方法提取了高度稀疏的模型，但它们忽略了两个主要挑战：（1）寻找这些稀疏模型的过程通常非常昂贵； （2）非结构化的修剪在GPU记忆，训练时间或碳排放方面没有提供好处。我们提出了通过梯度流量保存（早期CROP）提出的早期压缩，该压缩在训练挑战（1）的培训（1）中有效提取最先进的稀疏模型，并且可以以结构化的方式应用来应对挑战（2）。这使我们能够在商品GPU上训练稀疏的网络，该商品GPU的密集版本太大，从而节省了成本并减少了硬件要求。我们从经验上表明，早期杂交的表现优于许多任务（包括分类，回归）和域（包括计算机视觉，自然语言处理和增强学习）的丰富基线。早期杂交导致准确性与密集训练相当，同时超过修剪基线。
translated by 谷歌翻译
计算优化问题解决方案解决方案的雅各布是机器学习中的一个核心问题，其应用程序在超参数优化，元学习，优化为层和数据集蒸馏中的应用程序，仅举几例。展开的分化是一种流行的启发式方法，它使用迭代求解器近似溶液，并通过计算路径区分它。这项工作提供了对梯度下降和Chebyshev方法的二次目标的这种方法的非反应收敛速率分析。我们表明，为了确保雅各布的融合，我们可以1）选择较大的学习率，导致快速渐近地收敛，但接受该算法可能具有任意长的燃烧阶段或2）选择较小的学习率直接但较慢的收敛性。我们将这种现象称为展开的诅咒。最后，我们讨论了相对于这种方法的开放问题，例如为最佳展开策略得出实用的更新规则，并与Sobolev正交多项式领域建立了新的联系。
translated by 谷歌翻译
黑框模型的鲁棒性研究被认为是基于结构方程和从数据中学到的预测模型的数值模型的必要任务。这些研究必须评估模型的鲁棒性，以实现其输入的可能错误指定（例如，协变量转移）。通过不确定性定量（UQ）的棱镜对黑盒模型的研究通常基于涉及输入上施加的概率结构的灵敏度分析，而ML模型仅由观察到的数据构建。我们的工作旨在通过为这两个范式提供相关且易于使用的工具来统一UQ和ML可解释性方法。为了为鲁棒性研究提供一个通用且易于理解的框架，我们定义了依赖于概率指标之间的瓦斯汀距离的分位数约束和投影的输入信息的扰动，同时保留其依赖性结构。我们表明，可以通过分析解决这个扰动问题。通过等渗多项式近似确保规律性约束会导致更平滑的扰动，这在实践中可能更适合。从UQ和ML领域进行的实际案例研究的数值实验突出了此类研究的计算可行性，并提供了对黑盒模型鲁棒性的局部和全球见解，以输入扰动。
translated by 谷歌翻译
分析脑电图时，神经科医生经常在寻找各种“感兴趣的事件”。为了在这项任务中支持他们，已经开发了各种基于机器学习的算法。这些算法中的大多数将问题视为分类，从而独立处理信号段并忽略了持续时间事件固有的时间依赖性。在推理时，必须在处理后进行处理以检测实际事件。我们提出了一种基于深度学习的端到端事件检测方法（EventNet），该方法直接与事件一起作为学习目标，从临时的后处理方案逐渐消失，以将模型输出转化为事件。我们将EventNet与用于人工制品和癫痫发作检测的最新方法进行了比较，这两种事件类型具有高度可变的持续时间。 EventNet在检测两种事件类型方面显示出改进的性能。这些结果表明，将事件视为直接学习目标的力量，而不是使用临时后处理来获取它们。我们的事件检测框架可以轻松地扩展到信号处理中的其他事件检测问题，因为深度学习骨干链不取决于任何特定于任务的功能。
translated by 谷歌翻译
课堂学习学习需要可塑性和稳定性，以便在保留过去的知识的同时从新数据中学习。由于灾难性的遗忘，当没有内存缓冲区可用时，在这两个属性之间找到妥协尤其具有挑战性。主流方法需要存储两个深层模型，因为它们使用微调与以前的增量状态的知识蒸馏一起整合了新类。我们提出了一种具有相似数量参数但分布不同的方法，以便在可塑性和稳定性之间找到更好的平衡。遵循已经通过基于转移的增量方法部署的方法，我们在初始状态后冻结了功能提取器。最古老的增量状态的类对这种冷冻提取器进行训练，以确保稳定性。使用部分微调模型预测最近的类别以引入可塑性。我们提出的可塑性层可以纳入任何用于无内存增量学习的基于转移的方法，并将其应用于两种此类方法。评估是通过三个大型数据集进行的。结果表明，与现有方法相比，所有测试的配置中均获得了性能提高。
translated by 谷歌翻译
腿部机器人运动是一项艰巨的任务，这是由于无数的子问题，例如脚接触的混合动力学以及所需步态对地形的影响。对浮动基础和脚关节的准确和高效的状态估计可以通过向机器人控制器提供反馈信息来帮助减轻这些问题的许多问题。当前的状态估计方法高度依赖于视觉和惯性测量的结合，以提供实时估计，从而在感知上较差的环境中残障。在这项工作中，我们表明，通过通过因子图公式利用机器人的运动学链模型，我们可以使用主要的特性惯性数据对基础和腿关节进行状态估计。我们使用基于因子图形的框架中的预先集成IMU测量，正向运动计算和接触检测的组合进行状态估计，从而使我们的状态估计值受到机器人模型的约束。模拟和硬件上的实验结果表明，我们的方法平均超过当前的本体感受状态估计方法27％，同时可以推广到各种腿部机器人平台。我们在各种轨迹上定量和定性地展示了我们的结果。
translated by 谷歌翻译
我们引入了三种算法，将模拟重力数据倒入3D地下岩石/流属性。第一种算法是一种基于数据驱动的，基于深度学习的方法，第二个算法将深度学习方法与物理建模混合到单个工作流程中，第三个考虑了表面重力监测的时间依赖性。这些提出的算法的目标应用是地下CO $ _2 $李子作为监视CO $ _2 $固存部部署的补充工具的预测。每种提出的算法的表现都优于传统的反转方法，并在几乎实时实时产生高分辨率的3D地下重建。我们提出的方法以$ \ mu $ gals的形式获得了预测的羽状几何形状和接近完美数据失误的骰子得分。这些结果表明，将4D表面重力监测与深度学习技术相结合代表了一种低成本，快速和非侵入性的方法，用于监测CO $ _2 $存储站点。
translated by 谷歌翻译
在分析此类数据中，高光谱脉冲仍然是最具挑战性的任务之一。深度学习一直在田野上盛开，并被证明超过了其他经典的不混合技术，并且可以有效地部署在配备高光谱成像器的地球观察卫星上。在这封信中，我们遵循这一研究途径，并提出了一个多分支卷积神经网络，该网络受益于融合过程中的光谱，空间和光谱空间特征。我们的实验结果得到了消融研究的支持，表明我们的技术从文献中优于其他人，而导致了更高质量的分数丰度估计。此外，我们研究了减少训练集对所有算法及其对噪音的稳健性的影响的影响，因为捕获大型且代表性的地面真相集是耗时且在实践中成本高昂的，尤其是在新兴的地球观察方案中。
translated by 谷歌翻译
通过优化农业管理实践来维持农场的可持续性有助于建立更适合星球的环境。新兴的卫星任务可以获取多光谱图像，从而捕获有关扫描区域的更详细的光谱信息，因此，在农业应用中的分析过程中，我们可以从细微的光谱特征中受益。我们介绍了一种从10 m Sentinel-2多光谱图像系列中提取2.5 m栽培地图的方法，该图像受益于紧凑型卷积神经网络。实验表明，与U-NET相比，我们的模型不仅通过提供更高质量的分割图来超过经典和深度的机器学习技术，而且还可以大大减少内存足迹（我们的模型的几乎可训练的参数，最多具有31m参数的参数U-nets）。在任务中，这种记忆节俭是关键的，这使我们能够在轨道进入轨道后将模型链接到AI驱动的卫星，因为由于时间限制，不可能发送大型网。
translated by 谷歌翻译